Pada tahun 1855, semasa Perang Krimea, Gabenor William Denison menebus kembali titik Kirribilli Point, di mana kubu dibina. Pertahanan ini, bersama-sama dengan Fort Denison, bertujuan untuk mengukuhkan pertahanan Sydney Harbour, kerana dikhuatiri bahawa orang Rusia mungkin menyerang. Pada 1856, Leftenan Kolonel George Barney, pegawai Jurutera Diraja, tinggal di "Wotonga" dan merancang dan menyelia pemasangan bateri lima, 8-inci (20 cm) senapang patah muncung di Kirribilli Point, serta membina menara martello di Fort Denison.